หลังจากตระกูลฟูจิวาระผูกขาดตำแหน่งเซ็สโช กับ คัมปากุ แล้ว ยังได้เป็นเจ้าของที่ดินเกือบทั้งญี่ปุ่น ว่าได้ว่าเป็นตระกูลที่มีอำนาจมากที่สุดในญี่ปุ่นเลยก็ว่าได้ ตระกูลฟูจิวาระสามารถเปลี่ยนองค์รัชทายาท และจักรพรรดิได้ทำตามอำเภอใจ ส่งผลให้พวกเขามีอำนาจมากขึ้น ส่งผลให้พระราชบัญญัติของพระจักรพรรดิพังทลาย การเมืองมีแต่การฉ้อราชบังหลวงของตระกูลฟูจิวาระ อีกทั้งตระกูลฟูจิวาระยังซื้อขายตำแหน่งขุนนางโดยการติดสินบนพวกเขา ส่งผลให้พวกเขารวยมากขึ้น ๆ จนกระทั่งมีทรัพย์สินมากกว่าท้องพระคลังของประเทศ และทำตัวดั่งเป็นจักรพรรดิ พวกเขาควบคุมจักรพรรดิเป็นเวลานานจนกระทั่ง ถึงการขึ้นครองราชย์ของจักรพรรดิโกะ-ซันโจ ได้เกิดการแก่งแย่งอำนาจกันระหว่าง จักรพรรดิโกซันโจ และ ขุนนางตระกูลฟูจิวาระ โดยจักรพรรดิโกะ-ซันโจมีพระประสงค์จะฟื้นฟู อำนาจของจักรพรรดิอีกครั้ง จักรพรรดิโกะ-ซันโจ ร่วมมือกับ ตระกูลไทระ และตระกูลมินาโมโตะ ได้เกิดสงครามขึ้นในสมัยของ ฟูจิวาระ โนะ โยรินางะ ซึ่งเกิดการแตกแยกทั้งในราชสำนัก และตระฟูลฟูจิวาระเอง รวมถึงตระกูลมินาโมโตะ และ ตระกูลไทระเองด้วย จนท้ายที่สุด ตระกูลฟูจิวาระแพ้สงคราม อำนาจของตระกูลเสื่อมลงมาก จนในที่สุดทายาทรุ่นหลังของตระกูลฟูจิวาระ ได้เปลี่ยนจากการฝักใฝ่การเมืองเป็นการเน้นที่ศิลปะ การแต่งกลอน และการวาดภาพแทน